Có một số tranh luận về tính trung lập của Freedom House và phương pháp luận được sử dụng cho báo cáo Tự do trên thế giới do Raymond D. Gastil và cộng sự đưa ra.[5] Tính trung lập và thành kiến của các chỉ số nhân quyền đã được Kenneth A. Bollen thảo luận trong một số ấn phẩm.[19] Bollen đã viết rằng "Khi xem xét cùng nhau, những lời chỉ trích này cho thấy rằng một số quốc gia có thể đã được đánh giá không chính xác với phép đo của Gastil. Tuy nhiên, không có lời phê phán nào cho thấy có một sự thiên vị có hệ thống trong tất cả các xếp hạng. Hầu hết các bằng chứng bao gồm bằng chứng mang tính giai thoại của tương đối ít trường hợp. Liệu có sự nghiêng về hệ thống hay rời rạc trong xếp hạng của Gastil hay không là một câu hỏi mở "(Bollen, 1986, tr. 586). Chỉ số tự do của Tự do trên thế giới có mối tương quan rất mạnh và tích cực (ít nhất là 80%) với ba chỉ số dân chủ khác được nghiên cứu ở Mainwaring (2001, tr. 53).[20]

Ý tưởng thiên vị hoặc trung lập

Trong nghiên cứu năm 1986 của mình, Bollen đã thảo luận về các đánh giá về các phép đo quyền con người, bao gồm chỉ số được báo cáo trong Tự do trên Thế giới (Bollen, 1986, tr. 585). Những lời chỉ trích về Tự do trên Thế giới trong những năm 1980 đã được thảo luận bởi Gastil (1990), người đã tuyên bố rằng "nhìn chung những lời chỉ trích đó dựa trên ý kiến về Freedom House hơn là kiểm tra chi tiết các xếp hạng khảo sát", một kết luận gây tranh cãi của Giannone.[21] Định nghĩa về Tự do của Gastil (1982) và Ngôi nhà Tự do (1990) nhấn mạnh quyền tự do hơn là thực hành tự do, theo Adam Przeworski, người đã đưa ra ví dụ sau: Ở Hoa Kỳ, công dân được tự do thành lập các đảng chính trị và bầu cử., vậy mà ngay cả trong các cuộc bầu cử tổng thống cũng chỉ có một nửa số "công dân" Hoa Kỳ bỏ phiếu; ở Mỹ, "hai bên cùng phát ngôn một cách đồng thanh tiếng nói được lợi nhuận tài trợ", Przeworski (2003, tr. 277)Lỗi harv: không có mục tiêu: CITEREFPrzeworski2003 (trợ giúp).[7]

Các cáo buộc gần đây về thiên vị ý thức hệ đã khiến Freedom House đưa ra tuyên bố năm 2010 như sau:

Freedom House không giữ quan điểm ràng buộc văn hóa về tự do. Phương pháp luận của cuộc khảo sát dựa trên các tiêu chuẩn cơ bản về quyền chính trị và quyền tự do dân sự, chủ yếu dựa trên các phần có liên quan của Tuyên ngôn Nhân quyền Phổ quát. Các tiêu chuẩn này áp dụng cho tất cả các quốc gia và vùng lãnh thổ, không phân biệt vị trí địa lý, thành phần dân tộc hoặc tôn giáo, hoặc trình độ phát triển kinh tế.[13]

Mainwaring và cộng sự (2001, tr. 52) [20] đã viết rằng chỉ số của Freedom House có "hai thành kiến có hệ thống: điểm số dành cho cánh tả bị ảnh hưởng bởi những cân nhắc chính trị và những thay đổi về điểm số đôi khi được thúc đẩy bởi những thay đổi trong tiêu chí của họ hơn là những thay đổi trong điều kiện thực tế." Tuy nhiên, khi được đánh giá ở các nước Mỹ Latinh hàng năm, chỉ số của Freedom House có mối tương quan rất mạnh và thuận với chỉ số của Adam Przeworski và với chỉ số của chính tác giả: Họ đánh giá hệ số tương quan tuyến tính của Pearson giữa chỉ số của họ và Chỉ số của Freedom House, là 0,82; trong số các chỉ số này và hai chỉ số khác được nghiên cứu, các mối tương quan đều nằm trong khoảng 0,80 đến 0,86 (Mainwaring và cộng sự, 2001, tr. 53).

Như đã trích dẫn trước đây, Bollen đã chỉ trích các nghiên cứu trước đây về Tự do trên Thế giới là mang tính giai thoại và không thuyết phục; họ đưa ra những vấn đề cần được nghiên cứu thêm bằng các phương pháp khoa học hơn là các giai thoại.[5] Bollen đã nghiên cứu câu hỏi về sự thiên vị ý thức hệ bằng cách sử dụng thống kê đa biến. Sử dụng mô hình phân tích nhân tố của họ cho các phép đo nhân quyền, Bollen và Paxton ước tính rằng phương pháp của Gastil tạo ra độ chệch là -0,38 độ lệch chuẩn (sd) chống lại các nước theo chủ nghĩa Mác-Lênin và có thành kiến lớn hơn, +0,5 sd, thiên về các nước theo đạo thiên chúa; kết quả tương tự được tổ chức cho phương pháp luận của Sussman (Bollen và Paxton, 2000, tr. 585).[22] Ngược lại, một phương pháp khác của một nhà phê bình Tự do trên Thế giới đã tạo ra sự thiên vị cho các nước cánh tả trong suốt những năm 1980 là ít nhất +0,8 sd, một thành kiến "phù hợp với nhận định chung rằng các nhà khoa học chính trị ủng hộ chính trị cánh tả hơn là dân chúng nói chung" (Bollen và Paxton, tr. 585).

Sử dụng và phân tích khái niệm

Những chỉ trích về việc tiếp nhận và sử dụng báo cáo Tự do trên Thế giới đã được Diego Giannone ghi nhận:[23]

• "Kéo dài khái niệm", thuật ngữ quan trọng của Giovanni Sartori cho một thiếu sót về phương pháp luận thường gặp trong các nghiên cứu xã hội.[24] Giannone báo cáo như một ví dụ rằng, theo Landman và Hausermann (2003), "chỉ số của FH đã được sử dụng như một công cụ để đo lường dân chủ, quản trị tốt và nhân quyền, do đó tạo ra một sự giãn nở khái niệm là nguyên nhân chính của ' tổn thất về độ chính xác nội hàm ": nói tóm lại, một công cụ được sử dụng để đo lường mọi thứ, cuối cùng, không thể phân biệt được bất cứ thứ gì."
• Các vấn đề với tập hợp. Giannone trích dẫn kết luận của Scoble và Wiseberg (1981) rằng "tổng điểm tự do dân sự là 4 và điểm tự do chính trị là 2 cũng giống như tổng điểm tự do dân sự là 2 và điểm tự do chính trị là 4 mặc dù cách giải thích thực chất của các kết hợp khác nhau này là khác nhau. " [25]
• "Thiếu tính cụ thể và chặt chẽ trong xây dựng" và "mức độ minh bạch và khả năng nhân rộng của các thang đo không đầy đủ", tham khảo đầu tiên của Scoble et al (1981) và sau đó là Hadenius và Teorell (2005).[26] Để ủng hộ điều này, ông cũng trích dẫn kết luận của Munck và Verkuilen (2002) rằng "dữ liệu tổng hợp do Freedom House cung cấp phải được chấp nhận phần lớn dựa trên niềm tin", do các yếu tố "không có bộ quy tắc mã hóa được cung cấp, và các nguồn thông tin không được xác định với đủ độ chính xác, và vì dữ liệu phân tách đã không được cung cấp cho các học giả độc lập ".

Chuỗi thời gian

Trong "Các khía cạnh chính trị và tư tưởng trong việc đo lường nền dân chủ: trường hợp Freedom House" (2010) xem xét những thay đổi đối với phương pháp luận kể từ năm 1990, Diego Giannone kết luận rằng "do những thay đổi trong phương pháp luận theo thời gian và mối liên hệ chặt chẽ giữa phương pháp luận và chính trị các khía cạnh, dữ liệu FH không đưa ra chuỗi thời gian không bị gián đoạn và trung lập về mặt chính trị, do đó chúng không được sử dụng cho các phân tích xuyên thời gian ngay cả khi phát triển các giả thuyết đầu tiên. Vấn đề nhất quán bên trong của chuỗi dữ liệu là một câu hỏi. " [27]

Về chủ đề này, trang web của Freedom House trả lời rằng họ đã “thực hiện một số thay đổi khiêm tốn về phương pháp luận để thích ứng với những ý tưởng đang phát triển về quyền chính trị và quyền tự do dân sự. Đồng thời, dữ liệu chuỗi thời gian không được sửa đổi trở về trước và bất kỳ thay đổi nào đối với phương pháp luận đều được áp dụng tăng dần để đảm bảo tính so sánh của các xếp hạng từ năm này sang năm khác. " [13]